90.4 KB · ⇊ 26 parts · ⤓ Micron 90.4 KB · ⤓ HTML 628.2 KB

top

In der Statistik ist die lineare Einfachregression, auch einfache lineare Regression (kurz: ELR), selten univariate lineare Regression genannt, ein regressionsanalytisches Verfahren und ein Spezialfall der linearen Regression. Die Bezeichnung einfach gibt an, dass bei der linearen Einfachregression nur eine unabhängige Variable verwendet wird, um die Zielgröße zu erklären. Ziel ist die Schätzung von Achsenabschnitt und Steigung der Regressionsgeraden sowie die Schätzung der Varianz der Störgrößen.cite-ref-1[1]

• Einführung in die Problemstellung

• Bestimmtheitsmaß

• Das Modell

• Modellannahmen

• Annahmen über die unabhängige Variable

• Annahmen über die unabhängige und abhängige Variable

• Annahmen über die Störgrößen

• Schätzung der Regressionsparameter und der Störgrößen

• Herleitung der Formeln für die Regressionsparameter

• Algebraische Eigenschaften der Kleinste-Quadrate-Schätzer

• Schätzfunktionen der Kleinste-Quadrate-Schätzer

• Statistische Eigenschaften der Kleinste-Quadrate-Schätzer

• Erwartungstreue der Kleinste-Quadrate-Schätzer

• Varianzen der Kleinste-Quadrate-Schätzer

• Schätzer für die Varianz der Störgrößen

• Bester lineare erwartungstreue Schätzer

• Klassisches lineares Modell der Normalregression

• t -Tests

• Konfidenzintervalle

• Vorhersage

• Kausalität und Regressionsrichtung

• Lineare Einfachregression durch den Ursprung

• Matrixschreibweise

• Verhältnis zur multiplen linearen Regression

• Lineare Einfachregression in R

• Weblinks

• Literatur

• Einzelnachweise

Das Ziel einer Regression ist es, eine abhängige Variable durch eine oder mehrere unabhängige Variablen zu erklären. Bei der einfachen linearen Regression wird eine abhängige Variable durch lediglich eine unabhängige Variable erklärt. Das Modell der linearen Einfachregression geht daher von zwei metrischen Größen aus: einer Einflussgröße X {\displaystyle X} (erklärende Variable, unabhängige Variable, Regressor) und einer Zielgröße Y {\displaystyle Y} (abhängige Variable, erklärte Variable, Regressand). Des Weiteren liegen n {\displaystyle n} Paare ( x 1 , y 1 ) , … … , ( x n , y n ) {\displaystyle (x_{1},y_{1}),\dotsc ,(x_{n},y_{n})} von Messwerten vor (die Darstellung der Messwerte ( x 1 , y 1 ) , … … , ( x n , y n ) {\displaystyle (x_{1},y_{1}),\dotsc ,(x_{n},y_{n})} im x {\displaystyle x} - y {\displaystyle y} -Diagramm wird im Folgenden als Streudiagramm bezeichnet), die in einem funktionalen Zusammenhang stehen, der sich aus einem systematischen und einem stochastischen Teil zusammensetzt:

Y i = f ( x i ; β β 0 , β β 1 , … … ) ⏟ ⏟ systematische Komponente + ε ε i ⏟ ⏟ stochastische Komponente {\displaystyle Y_{i}=\underbrace {f(x_{i};\beta _{0},\beta _{1},\ldots )} _{\text{systematische Komponente}}+\underbrace {\varepsilon _{i}} _{\text{stochastische Komponente}}}

Die stochastische Komponente beschreibt nur noch zufällige Einflüsse (z. B. zufällige Abweichungen wie Messfehler), alle systematischen Einflüsse sind in der systematischen Komponente enthalten. Die lineare Einfachregression stellt den Zusammenhang zwischen der Einfluss- und der Zielgröße mithilfe von zwei festen, unbekannten, reellen Parametern β β 0 {\displaystyle \beta _{0}} und β β 1 {\displaystyle \beta _{1}} auf lineare Weise her, d. h., die Regressionsfunktion f ( ⋅ ⋅ ) {\displaystyle f(\cdot )} wird wie folgt spezifiziert:

f ( x i ; β β 0 , β β 1 ) = β β 0 + β β 1 x i {\displaystyle f(x_{i};\beta _{0},\beta _{1})=\beta _{0}+\beta _{1}x_{i}} (Linearität)

Dadurch ergibt sich das Modell der linearen Einfachregression als Y i = β β 0 + β β 1 x i + ε ε i {\displaystyle Y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i}} . Hierbei ist Y i {\displaystyle Y_{i}} die abhängige Variable und stellt eine Zufallsvariable dar. Die x i {\displaystyle x_{i}} -Werte sind beobachtbare, nicht zufällige Messwerte der bekannten erklärenden Variablen x {\displaystyle x} ; die Parameter β β 0 {\displaystyle \beta _{0}} und β β 1 {\displaystyle \beta _{1}} sind unbekannte skalare Regressionsparameter und ε ε i {\displaystyle \varepsilon _{i}} ist eine zufällige und unbeobachtbare Störgröße. Bei der einfachen linearen Regression wird also eine Gerade so durch das Streudiagramm gelegt, dass der lineare Zusammenhang zwischen X {\displaystyle X} und Y {\displaystyle Y} möglichst gut beschrieben wird.

→

Hauptartikel

:

Bestimmtheitsmaß

Das Bestimmtheitsmaß R 2 = 1 − − S Q R / S Q T {\displaystyle R^{2}=1-SQR/SQT} misst, wie gut die Messwerte zu einem Regressionsmodell passen (Anpassungsgüte). Es ist definiert als der Anteil der „erklärten Variation“ an der „Gesamtvariation“ und liegt daher zwischen:

• 0 % % {\displaystyle 0\,\%} (oder 0 {\displaystyle 0} ): kein linearer Zusammenhang und

• 100 % % {\displaystyle 100\,\%} (oder 1 {\displaystyle 1} ): perfekter linearer Zusammenhang.

Je näher das Bestimmtheitsmaß am Wert Eins liegt, desto höher ist die „Bestimmtheit“ bzw. „Güte“ der Anpassung. Ist R 2 = 0 {\displaystyle R^{2}=0} , dann besteht das „beste“ lineare Regressionsmodell nur aus dem Achsenabschnitt β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} , während β β ^ ^ 1 = 0 {\displaystyle {\hat {\beta }}_{1}=0} ist. Je näher der Wert des Bestimmtheitsmaß an 1 {\displaystyle 1} liegt, desto besser erklärt die Regressionsgerade das wahre Modell. Ist R 2 = 1 {\displaystyle R^{2}=1} , dann lässt sich die abhängige Variable Y {\displaystyle Y} vollständig durch das lineare Regressionsmodell erklären. Anschaulich liegen dann die Messpunkte ( x 1 , y 1 ) , … … , ( x n , y n ) {\displaystyle (x_{1},y_{1}),\ldots ,(x_{n},y_{n})} alle auf der nichthorizontalen Regressionsgeraden. Somit liegt bei diesem Fall kein stochastischer Zusammenhang vor, sondern ein deterministischer.

Eine häufige Fehlinterpretation eines niedrigen Bestimmtheitsmaßes ist es, dass es keinen Zusammenhang zwischen den Variablen gibt. Tatsächlich wird nur der lineare Zusammenhang gemessen, d. h., obwohl R 2 {\displaystyle R^{2}} klein ist, kann es trotzdem einen starken nichtlinearen Zusammenhang geben. Umgekehrt muss ein hoher Wert des Bestimmtheitsmaßes nicht bedeuten, dass ein nichtlineares Regressionsmodell nicht noch besser als ein lineares Modell ist.

Bei einer einfachen linearen Regression entspricht das Bestimmtheitsmaß R 2 {\displaystyle R^{2}} dem Quadrat des Bravais-Pearson-Korrelationskoeffizienten r x y {\displaystyle r_{xy}} (siehe Bestimmtheitsmaß als quadrierter Korrelationskoeffizient).

Im oben genannten Beispiel kann die Güte des Regressionsmodells mit Hilfe des Bestimmtheitsmaßes überprüft werden. Für das Beispiel ergibt sich für die Residuenquadratsumme und die totale Quadratsumme

S Q R = ∑ ∑ i = 1 6 ( y i − − y ^ ^ i ) 2 = 5 , 98 {\displaystyle SQR=\sum _{i=1}^{6}(y_{i}-{\hat {y}}_{i})^{2}=5{,}98\quad } und S Q T = ∑ ∑ i = 1 6 ( y i − − y ¯ ¯ ) 2 = 60 {\displaystyle \quad SQT=\sum _{i=1}^{6}(y_{i}-{\overline {y}})^{2}=60}

und das Bestimmtheitsmaß zu

R 2 = 1 − − ∑ ∑ i = 1 6 ( y i − − y ^ ^ i ) 2 ∑ ∑ i = 1 6 ( y i − − y ¯ ¯ ) 2 = 1 − − 5 , 98 60 ≈ ≈ 0 , 90 {\displaystyle R^{2}=1-{\frac {\displaystyle \sum \nolimits _{i=1}^{6}(y_{i}-{\hat {y}}_{i})^{2}}{\displaystyle \sum \nolimits _{i=1}^{6}(y_{i}-{\overline {y}})^{2}}}=1-{\frac {5{,}98}{60}}\approx 0{,}90} .

Das heißt, ca. 90 % der Variation bzw. Streuung in Y {\displaystyle Y} können mithilfe des Regressionsmodells „erklärt“ werden, nur 10 % der Streuung bleiben „unerklärt“.

Im Regressionsmodell werden die Zufallskomponenten mit Hilfe von Zufallsvariablen ε ε i {\displaystyle \varepsilon _{i}} modelliert. Wenn ε ε i {\displaystyle \varepsilon _{i}} eine Zufallsvariable ist, dann ist es auch Y i {\displaystyle Y_{i}} . Die beobachteten Werte y i {\displaystyle y_{i}} werden als Realisierungen der Zufallsvariablen Y i {\displaystyle Y_{i}} aufgefasst.

Daraus ergibt sich das einfache lineare Regressionsmodell:cite-ref-2[2]

Y i = β β 0 + β β 1 x i + ε ε i , i = 1 , … … , n {\displaystyle Y_{i}=\beta _{0}+\beta _{1}\ x_{i}+\varepsilon _{i},\quad i=1,\dotsc ,n} (mit Zufallsvariablen) bzw.

y i = β β 0 + β β 1 x i + ε ε i , i = 1 , … … , n {\displaystyle y_{i}=\beta _{0}+\beta _{1}\ x_{i}+\varepsilon _{i},\quad i=1,\dotsc ,n} (mit deren Realisierungen).

Bildlich gesprochen wird eine Gerade durch das Streudiagramm der Messung gelegt. In der gängigen Literatur wird die Gerade oft durch den Achsenabschnitt β β 0 {\displaystyle \beta _{0}} und den Regressions- bzw. Steigungsparameter β β 1 {\displaystyle \beta _{1}} beschrieben. Die abhängige Variable wird in diesem Kontext oft auch endogene Variable genannt. Dabei ist ε ε i {\displaystyle \varepsilon _{i}} eine additive stochastische Störgröße, die Abweichungen vom idealen Zusammenhang – also der Geraden – achsenparallel misst.

Anhand der Messwerte ( x 1 , y 1 ) , … … , ( x n , y n ) {\displaystyle (x_{1},y_{1}),\dotsc ,(x_{n},y_{n})} werden die Regressionsparameter β β 0 {\displaystyle \beta _{0}} und die β β 1 {\displaystyle \beta _{1}} geschätzt. So erhält man die Stichproben-Regressionsfunktion y ^ ^ = β β ^ ^ 0 + β β ^ ^ 1 x {\displaystyle {\hat {y}}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}x} . Im Gegensatz zur unabhängigen und abhängigen Variablen sind die Zufallskomponenten ε ε i {\displaystyle \varepsilon _{i}} und deren Realisierungen nicht direkt beobachtbar. Ihre geschätzten Realisierungen ε ε ^ ^ i {\displaystyle {\hat {\varepsilon }}_{i}} sind nur indirekt beobachtbar und heißen Residuen. Sie sind berechnete Größen und messen den vertikalen Abstand zwischen Beobachtungspunkt und der geschätzten Regressionsgerade.

Um die Zerlegung von Y i {\displaystyle Y_{i}} in eine systematische und zufällige Komponente zu sichern sowie gute Schätzeigenschaften für die Schätzung β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} und β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} der Regressionsparameter β β 0 {\displaystyle \beta _{0}} und β β 1 {\displaystyle \beta _{1}} zu haben, sind einige Annahmen bezüglich der Störgrößen sowie der unabhängigen Variable nötig.

In Bezug auf die unabhängige Variable werden folgende Annahmen getroffen:cite-ref-auer49-3-0[3]

Sie können also wie in einem Experiment kontrolliert werden und sind damit keine Zufallsvariablen (Exogenität der Regressoren). Wären die x i {\displaystyle x_{i}} Zufallsvariablen, z. B. wenn die x i {\displaystyle x_{i}} auch nur fehlerbehaftet gemessen werden können, dann wäre Y i = β β 0 + β β 1 X i + ε ε i {\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i}+\varepsilon _{i}} und die Verteilung von Y i {\displaystyle Y_{i}} sowie die Verteilungsparameter (Erwartungswert und Varianz) würden nicht nur von ε ε i {\displaystyle \varepsilon _{i}} abhängen E ⁡ ⁡ ( Y i ) = β β 0 + β β 1 E ⁡ ⁡ ( X i ) + E ⁡ ⁡ ( ε ε i ) {\displaystyle \operatorname {E} (Y_{i})=\beta _{0}+\beta _{1}\operatorname {E} (X_{i})+\operatorname {E} (\varepsilon _{i})} .

Mit speziellen Regressionsverfahren kann dieser Fall aber auch behandelt werden, siehe z. B. Regression mit stochastischen Regressoren.

Die Realisierungen der unabhängigen Variablen x 1 , … … , x n {\displaystyle x_{1},\ldots ,x_{n}} sind nicht alle gleich.cite-ref-jw-4-0[4] Man schließt also den unwahrscheinlichen Fall aus, dass die unabhängige Variable keinerlei Variabilität aufweist, d. h. x 1 = x 2 = … … = x n = x ¯ ¯ {\displaystyle x_{1}=x_{2}=\ldots =x_{n}={\overline {x}}} . Dies impliziert, dass die Quadratsumme der unabhängigen Variablen ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 {\displaystyle \sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}} positiv sein muss.cite-ref-5[5] Diese Annahme wird im Schätzprozess benötigt.

Die Regressionsgleichung der einfachen linearen Regression muss linear in den Parametern β β 0 {\displaystyle \beta _{0}} und β β 1 {\displaystyle \beta _{1}} sein, kann aber nichtlineare Transformationen der unabhängigen und der abhängigen Variablen beinhalten. Beispielsweise sind die Transformationen

log ⁡ ⁡ ( y i ) = β β 0 + β β 1 log ⁡ ⁡ ( x i ) + ε ε i {\displaystyle \log(y_{i})=\beta _{0}+\beta _{1}\log(x_{i})+\varepsilon _{i}\quad } und y i = β β 0 + β β 1 x i 1 + x i 2 2 + ε ε i {\displaystyle \quad y_{i}=\beta _{0}+\beta _{1}{\frac {x_{i1}+x_{i2}}{2}}+\varepsilon _{i}}

zulässig, da sie ebenfalls lineare Modelle darstellen. Bei transformierten Daten ist zu beachten, dass sie die Interpretation der Regressionsparameter ändert.

Es liegt eine Zufallsstichprobe des Umfangs n {\displaystyle n} ( X 1 , Y 1 ) , … … , ( X n , Y n ) {\displaystyle (X_{1},Y_{1}),\ldots ,(X_{n},Y_{n})} mit Realisierungen ( x 1 , y 1 ) , … … , ( x n , y n ) {\displaystyle (x_{1},y_{1}),\ldots ,(x_{n},y_{n})} vor, die dem wahren Modell y i = β β 0 + β β 1 x i + ε ε i {\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i}} folgt.cite-ref-jw-4-1[4]

In Bezug auf die Störgrößen werden folgende Annahmen getroffen:cite-ref-auer49-3-1[3]

Wenn das Modell einen – von Null verschiedenen – Achsenabschnitt enthält, ist es vernünftig, dass man zumindest fordert, dass der Mittelwert von ε ε i {\displaystyle \varepsilon _{i}} in der Grundgesamtheit Null ist und sich die Schwankungen der einzelnen Störgrößen über die Gesamtheit der Beobachtungen ausgleichen. Mathematisch bedeutet das, dass der Erwartungswert der Störgrößen Null ist E ⁡ ⁡ ( ε ε i ) = 0 , i = 1 , … … , n {\displaystyle \operatorname {E} (\varepsilon _{i})=0\quad ,i=1,\ldots ,n} . Diese Annahme macht keine Aussage über den Zusammenhang zwischen x {\displaystyle x} und ε ε {\displaystyle \varepsilon } , sondern gibt lediglich eine Aussage über die Verteilung der unsystematischen Komponente in der Grundgesamtheit.cite-ref-6[6] Dies bedeutet, dass das betrachte Modell im Mittel dem wahren Zusammenhang entspricht. Wäre der Erwartungswert nicht Null, dann würde man im Mittel einen falschen Zusammenhang schätzen. Zur Verletzung dieser Annahme kann es kommen, wenn eine relevante Variable im Regressionsmodell nicht berücksichtigt wurde (siehe Verzerrung durch ausgelassene Variablen).

Wären die Störgrößen nicht unabhängig, dann könnte man einen systematischen Zusammenhang zwischen ihnen formulieren. Das würde der Zerlegung von Y {\displaystyle Y} in eine eindeutige systematische und zufällige Komponente widersprechen. Es wird in der Zeitreihenanalyse z. B. oft ein Zusammenhang der Form ε ε i = f ( ε ε i − − 1 , ε ε i − − 2 , … … ) {\displaystyle \varepsilon _{i}=f(\varepsilon _{i-1},\varepsilon _{i-2},\ldots )} betrachtet.

Oft wird auch nur die Unkorreliertheit der Störgrößen gefordert: Cov ⁡ ⁡ ( ε ε i , ε ε j ) = E ⁡ ⁡ [ ( ε ε i − − E ⁡ ⁡ ( ε ε i ) ) ( ( ε ε j − − E ⁡ ⁡ ( ε ε j ) ) ] = E ⁡ ⁡ ( ε ε i ε ε j ) = 0 ∀ ∀ i ≠ ≠ j , i = 1 , … … , n , j = 1 , … … , n {\displaystyle \operatorname {Cov} (\varepsilon _{i},\varepsilon _{j})=\operatorname {E} [(\varepsilon _{i}-\operatorname {E} (\varepsilon _{i}))((\varepsilon _{j}-\operatorname {E} (\varepsilon _{j}))]=\operatorname {E} (\varepsilon _{i}\varepsilon _{j})=0\quad \forall i\neq j,\;i=1,\ldots ,n,\;j=1,\ldots ,n} oder äquivalent Cov ⁡ ⁡ ( Y i , Y j ) = 0 {\displaystyle \operatorname {Cov} (Y_{i},Y_{j})=0} .

Unabhängige Zufallsvariablen sind immer auch unkorreliert. Man spricht in diesem Zusammenhang auch von Abwesenheit von Autokorrelation.

Wäre die Varianz nicht konstant, ließe sich evtl. die Varianz systematisch modellieren, d. h., dies widerspräche Zerlegung von Y i {\displaystyle Y_{i}} in eine eindeutige systematische und zufällige Komponente. Zudem lässt sich zeigen, dass sich die Schätzeigenschaften der Regressionsparameter verbessern lassen, wenn die Varianz nicht konstant ist.

Alle oben genannten Annahmen über die Störgrößen lassen sich so zusammenfassen:

ε ε i ∼ ∼ u . i . v . ( 0 , σ σ 2 ) , i = 1 , … … , n {\displaystyle \varepsilon _{i}\;{\stackrel {\mathrm {u.i.v.} }{\sim }}\;(0,\sigma ^{2})\quad ,i=1,\ldots ,n} ,

d. h., alle Störgrößen sind unabhängig und identisch verteilt mit Erwartungswert E ⁡ ⁡ ( ε ε i ) = 0 {\displaystyle \operatorname {E} (\varepsilon _{i})=0} und Var ⁡ ⁡ ( ε ε i ) = σ σ 2 {\displaystyle \operatorname {Var} (\varepsilon _{i})=\sigma ^{2}} .

Diese Annahme wird nur benötigt um z. B. Konfidenzintervalle zu berechnen bzw. um Tests für die Regressionsparameter durchzuführen.

Wird die Normalverteilung der Störgrößen angenommen, so folgt, dass auch Y i {\displaystyle Y_{i}} normalverteilt ist:

Y i ∼ ∼ N ( E ⁡ ⁡ ( Y i ) , Var ⁡ ⁡ ( Y i ) ) {\displaystyle Y_{i}\;\sim \;{\mathcal {N}}\left(\operatorname {E} (Y_{i}),\operatorname {Var} (Y_{i})\right)}

Die Verteilung der Y i {\displaystyle Y_{i}} hängt also von der Verteilung der Störgrößen ab. Der Erwartungswert der abhängigen Variablen lautet:

E ⁡ ⁡ ( Y i ) = E ⁡ ⁡ ( β β 0 + β β 1 x i + ε ε i ) = β β 0 + β β 1 x i {\displaystyle \operatorname {E} (Y_{i})=\operatorname {E} \left(\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i}\right)=\beta _{0}+\beta _{1}x_{i}}

Da die einzige zufällige Komponente in Y i {\displaystyle Y_{i}} die Störgröße ε ε i {\displaystyle \varepsilon _{i}} ist, gilt für die Varianz der abhängigen Variablen, dass sie gleich der Varianz der Störgrößen entspricht:

Var ⁡ ⁡ ( Y i ) = Var ⁡ ⁡ ( β β 0 + β β 1 x i + ε ε i ) = Var ⁡ ⁡ ( ε ε i ) = σ σ 2 {\displaystyle \operatorname {Var} (Y_{i})=\operatorname {Var} (\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i})=\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}} .

Die Varianz der Störgrößen spiegelt somit die Variabilität der abhängigen Variablen um ihren Mittelwert wider. Damit ergibt sich für die Verteilung der abhängigen Variablen:

Y i ∼ ∼ N ( β β 0 + β β 1 x i , σ σ 2 ) {\displaystyle Y_{i}\;\sim \;{\mathcal {N}}\left(\beta _{0}+\beta _{1}x_{i},\sigma ^{2}\right)} .

Aufgrund der Annahme, dass die Störgrößen im Mittel Null sein müssen, muss der Erwartungswert von Y i {\displaystyle Y_{i}} der Regressionsfunktion der Grundgesamtheit

y i = β β 0 + β β 1 x i {\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}}

entsprechen. D. h., mit der Annahme über die Störgrößen schlussfolgert man, dass das Modell im Mittel korrekt sein muss. Wenn zusätzlich zu den anderen Annahmen auch die Annahme der Normalverteiltheit gefordert wird spricht man auch vom klassischen linearen Modell (siehe auch #Klassisches lineares Modell der Normalregression).

Im Rahmen der Regressionsdiagnostik sollen die Voraussetzungen des Regressionsmodells, soweit möglich, geprüft werden. Dazu zählen die Überprüfung, ob die Störgrößen keine Struktur (die dann nicht zufällig wäre) haben.

Die Schätzung der Regressionsparameter β β 0 {\displaystyle \beta _{0}} und β β 1 {\displaystyle \beta _{1}} und der Störgrößen ε ε i {\displaystyle \varepsilon _{i}} geschieht in zwei Schritten:

1. Zunächst werden mit Hilfe der Kleinste-Quadrate-Schätzung die unbekannten Regressionsparameter β β 0 {\displaystyle \beta _{0}} und β β 1 {\displaystyle \beta _{1}} geschätzt. Dabei wird die Summe der quadrierten Abweichungen zwischen dem geschätzten Regressionswert y ^ ^ i = β β ^ ^ 0 + β β ^ ^ 1 x i {\displaystyle {\hat {y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}x_{i}} und dem beobachteten Wert y i {\displaystyle y_{i}} minimiert.cite-ref-wooldridge-7-0[7] Dabei ergeben sich folgende Formeln: β β ^ ^ 1 = ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) ( y i − − y ¯ ¯ ) ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 = S P x y S Q x {\displaystyle {\hat {\beta }}_{1}={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}={\frac {SP_{xy}}{SQ_{x}}}} β β ^ ^ 0 = y ¯ ¯ − − β β ^ ^ 1 x ¯ ¯ {\displaystyle {\hat {\beta }}_{0}={\overline {y}}-{\hat {\beta }}_{1}{\overline {x}}}

2. Sind β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} und β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} berechnet, so kann das Residuum geschätzt werden als ε ε ^ ^ i = y i − − y ^ ^ i = y i − − β β ^ ^ 0 − − β β ^ ^ 1 x i {\displaystyle {\hat {\varepsilon }}_{i}=y_{i}-{\hat {y}}_{i}=y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i}} .

Um nun die Parameter der Gerade zu bestimmen, wird die Zielfunktion Q {\displaystyle Q} (Fehlerquadratsumme bzw. die Residuenquadratsumme) minimiertcite-ref-8[8]cite-ref-9[9]

( β β ^ ^ 0 , β β ^ ^ 1 ) = arg ⁡ ⁡ min β β 0 , β β 1 ∈ ∈ R Q ( β β 0 , β β 1 ) = arg ⁡ ⁡ min β β 0 , β β 1 ∈ ∈ R ∑ ∑ i = 1 n ( y i − − ( β β 0 + β β 1 x i ) ) 2 {\displaystyle \left({\hat {\beta }}_{0},{\hat {\beta }}_{1}\right)={\underset {\beta _{0},\beta _{1}\in \mathbb {R} }{\arg \min }}\,Q(\beta _{0},\beta _{1})={\underset {\beta _{0},\beta _{1}\in \mathbb {R} }{\arg \min }}\sum _{i=1}^{n}\left(y_{i}-(\beta _{0}+\beta _{1}x_{i})\right)^{2}} cite-ref-10[10]

Die Bedingungen erster Ordnung (notwendige Bedingungen) lauten:

∂ ∂ Q ( β β 0 , β β 1 ) ∂ ∂ β β 0 | β β ^ ^ 0 = − − 2 ∑ ∑ i = 1 n ( y i − − β β ^ ^ 0 − − β β 1 x i ) = ! 0 {\displaystyle \left.{\frac {\partial \,Q(\beta _{0},\,\beta _{1})}{\partial \beta _{0}}}\right|_{{\hat {\beta }}_{0}}=-2\sum _{i=1}^{n}\left(y_{i}-{\hat {\beta }}_{0}-\beta _{1}x_{i}\right){\overset {\mathrm {!} }{=}}\;0\quad }

und

∂ ∂ Q ( β β 0 , β β 1 ) ∂ ∂ β β 1 | β β ^ ^ 1 = − − 2 ∑ ∑ i = 1 n x i ( y i − − β β 0 − − β β ^ ^ 1 x i ) = ! 0 {\displaystyle \left.{\frac {\partial \,Q(\beta _{0},\,\beta _{1})}{\partial \beta _{1}}}\right|_{{\hat {\beta }}_{1}}=-2\sum _{i=1}^{n}x_{i}\left(y_{i}-\beta _{0}-{\hat {\beta }}_{1}x_{i}\right){\overset {\mathrm {!} }{=}}\;0} .

Durch Nullsetzen der partiellen Ableitungen nach β β 0 {\displaystyle \beta _{0}} und β β 1 {\displaystyle \beta _{1}} ergeben sich die gesuchten Parameterschätzer, bei denen die Residuenquadratsumme minimal wird:

β β ^ ^ 1 = ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) ( y i − − y ¯ ¯ ) ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 = S P x y S Q x {\displaystyle {\hat {\beta }}_{1}={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}={\frac {SP_{xy}}{SQ_{x}}}\;} und β β ^ ^ 0 = y ¯ ¯ − − β β ^ ^ 1 x ¯ ¯ {\displaystyle \;{\hat {\beta }}_{0}={\overline {y}}-{\hat {\beta }}_{1}{\overline {x}}} ,

wobei S P x y {\displaystyle SP_{xy}} die Summe der Abweichungsprodukte zwischen x {\displaystyle x} und y {\displaystyle y} und S Q x {\displaystyle SQ_{x}} die Summe der Abweichungsquadrate von x {\displaystyle x} darstellt. Mithilfe des Verschiebungssatzes von Steiner lässt sich β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} auch wie folgt einfacher, in nichtzentrierter Form, darstellen

β β ^ ^ 1 = ∑ ∑ i = 1 n ( x i y i ) − − n x ¯ ¯ y ¯ ¯ ( ∑ ∑ i = 1 n x i 2 ) − − n x ¯ ¯ 2 {\displaystyle {\hat {\beta }}_{1}={\frac {\sum _{i=1}^{n}(x_{i}y_{i})-n{\overline {x}}{\overline {y}}}{\left(\sum _{i=1}^{n}x_{i}^{2}\right)-n{\overline {x}}^{2}}}} .

Weitere Darstellungen von β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} erhält man, indem man die Formel in Abhängigkeit vom Bravais-Pearson-Korrelationskoeffizienten r x y {\displaystyle r_{xy}} schreibt. Entweder als

β β ^ ^ 1 = ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 ∑ ∑ i = 1 n ( y i − − y ¯ ¯ ) 2 ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 r x y {\displaystyle {\hat {\beta }}_{1}={\frac {{\sqrt {\displaystyle \sum \nolimits _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}{\sqrt {\displaystyle \sum \nolimits _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)^{2}}}}{\displaystyle \sum \nolimits _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}r_{xy}\;} oder β β ^ ^ 1 = r x y s y s x {\displaystyle \;{\hat {\beta }}_{1}=r_{xy}{\frac {s_{y}}{s_{x}}}} ,

wobei s x {\displaystyle s_{x}} und s y {\displaystyle s_{y}} die empirischen Standardabweichungen von x {\displaystyle x} und y {\displaystyle y} darstellen. Die letztere Darstellung impliziert, dass der Kleinste-Quadrate-Schätzer für den Anstieg proportional zum Bravais-Pearson-Korrelationskoeffizienten r x y {\displaystyle r_{xy}} ist, d. h. β β ^ ^ 1 ∝ ∝ r x y {\displaystyle {\hat {\beta }}_{1}\propto r_{xy}} .

Die jeweiligen Kleinste-Quadrate-Schätzwerte von β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} und β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} werden als b 0 {\displaystyle b_{0}} und b 1 {\displaystyle b_{1}} abgekürzt.

Aus den Formeln sind drei Eigenschaften ableitbar:

1.) Die Regressiongerade verläuft durch den Schwerpunkt bzw. durch das „Gravitationszentrum“ der Daten ( x ¯ ¯ , y ¯ ¯ ) {\displaystyle ({\overline {x}},{\overline {y}})} , was direkt aus der obigen Definition von β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} folgt. Man sollte beachten, dass dies nur gilt, wenn ein Achsenabschnitt für die Regression verwendet wird, wie man leicht an dem Beispiel mit den zwei Datenpunkten ( x 1 , y 1 ) = ( 1 , 0 ) , ( x 2 , y 2 ) = ( 2 , 1 ) {\displaystyle (x_{1},y_{1})=(1,0),(x_{2},y_{2})=(2,1)} sieht.

2.) Die KQ-Regressionsgerade wird so bestimmt, dass die Residuenquadratsumme zu einem Minimum wird. Äquivalent dazu bedeutet das, dass sich positive und negative Abweichungen von der Regressionsgeraden ausgleichen. Wenn das Modell der linearen Einfachregression einen – von Null verschiedenen – Achsenabschnitt enthält, dann muss also gelten, dass die Summe der Residuen Null ist (dies ist äquivalent zu der Eigenschaft, dass die gemittelten Residuen Null ergeben)cite-ref-11[11]

∑ ∑ i = 1 n ε ε ^ ^ i = 0 {\displaystyle \sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0} bzw. ε ε ^ ^ ¯ ¯ = 1 n ∑ ∑ i = 1 n ε ε ^ ^ i = 0 {\displaystyle {\overline {\hat {\varepsilon }}}={\frac {1}{n}}\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0} .

Oder, da sich die Residuen als Funktion der Störgrößen darstellen lassen, ε ε ^ ^ ¯ ¯ = ε ε ¯ ¯ − − ( β β ^ ^ 0 − − β β 0 ) − − ( β β ^ ^ 1 − − β β 1 ) x ¯ ¯ = 0 {\displaystyle {\overline {\hat {\varepsilon }}}={\overline {\varepsilon }}-({\hat {\beta }}_{0}-\beta _{0})-({\hat {\beta }}_{1}-\beta _{1}){\overline {x}}=0} . Diese Darstellung wird für die Herleitung der erwartungstreuen Schätzung der Varianz der Störgrößen benötigt.

3.) Die Residuen und die unabhängigen Variablen sind (unabhängig davon, ob ein Achsenabschnitt mit einbezogen wurde oder nicht) unkorreliert, d. h.

∑ ∑ i = 1 n x i ε ε ^ ^ i = 0 {\displaystyle \sum _{i=1}^{n}x_{i}{\hat {\varepsilon }}_{i}=0} , was direkt aus der zweiten Optimalitätsbedingung von oben folgt.

Die Residuen und die geschätzten Werten sind unkorreliert, d. h.

∑ ∑ i = 1 n ε ε ^ ^ i y ^ ^ i = 0 {\displaystyle \sum _{i=1}^{n}{\hat {\varepsilon }}_{i}{\hat {y}}_{i}=0} .

Diese Unkorreliertheit der prognostizierten Werte mit den Residuen kann so interpretiert werden, dass in der Vorhersage bereits alle relevante Information der erklärenden Variablen bezüglich der abhängigen Variablen steckt.cite-ref-12[12]

Aus der Regressionsgleichung y i = β β 0 + β β 1 x i + ε ε i {\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i}} lassen sich die Schätzfunktionen β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} für β β 1 {\displaystyle \beta _{1}} und β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} für β β 0 {\displaystyle \beta _{0}} ableiten.

β β ^ ^ 1 = ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) ( Y i − − Y ¯ ¯ ) ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 = ∑ ∑ i = 1 n w i Y i − − Y ¯ ¯ ∑ ∑ i = 1 n w i ⏟ ⏟ = 0 {\displaystyle {\hat {\beta }}_{1}={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(Y_{i}-{\overline {Y}})}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}=\sum \nolimits _{i=1}^{n}w_{i}Y_{i}-{\overline {Y}}\underbrace {\sum \nolimits _{i=1}^{n}w_{i}} _{=0}} mit der Gewichtsfunktion w i = w i ( x i ) = ( x i − − x ¯ ¯ ) ∑ ∑ j = 1 n ( x j − − x ¯ ¯ ) 2 {\displaystyle w_{i}=w_{i}(x_{i})={\frac {(x_{i}-{\overline {x}})}{\sum \nolimits _{j=1}^{n}(x_{j}-{\overline {x}})^{2}}}}

β β ^ ^ 0 = Y ¯ ¯ − − β β ^ ^ 1 x ¯ ¯ = ∑ ∑ i = 1 n ( 1 n − − x ¯ ¯ w i ) Y i {\displaystyle {\hat {\beta }}_{0}={\overline {Y}}-{\hat {\beta }}_{1}{\overline {x}}=\sum \nolimits _{i=1}^{n}({\tfrac {1}{n}}-{\overline {x}}w_{i})Y_{i}} .

Die Formeln zeigen auch, dass die Schätzfunktionen der Regressionsparameter linear von Y i {\displaystyle Y_{i}} abhängen. Unter der Annahme der Normalverteilung der Residuen ε ε i ∼ ∼ N ( 0 , σ σ 2 ) {\displaystyle \varepsilon _{i}\sim {\mathcal {N}}(0,\sigma ^{2})} (oder wenn für Y i {\displaystyle Y_{i}} der zentrale Grenzwertsatz erfüllt ist) folgt, dass auch die Schätzfunktionen der Regressionsparameter β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} und β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} zumindest approximativ normalverteilt sind:

β β ^ ^ 1 ∼ ∼ a N ( β β 1 , σ σ β β ^ ^ 1 2 ) {\displaystyle {\hat {\beta }}_{1}\;{\stackrel {a}{\sim }}\;{\mathcal {N}}(\beta _{1},\sigma _{{\hat {\beta }}_{1}}^{2})} und β β ^ ^ 0 ∼ ∼ a N ( β β 0 , σ σ β β ^ ^ 0 2 ) {\displaystyle {\hat {\beta }}_{0}\;{\stackrel {a}{\sim }}\;{\mathcal {N}}(\beta _{0},\sigma _{{\hat {\beta }}_{0}}^{2})} .

Die Schätzfunktionen der Regressionsparameter β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} und β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} sind erwartungstreu für β β 1 {\displaystyle \beta _{1}} und β β 0 {\displaystyle \beta _{0}} , d. h., es gilt E ⁡ ⁡ ( β β ^ ^ 1 ) = β β 1 {\displaystyle \operatorname {E} ({\hat {\beta }}_{1})=\beta _{1}} und E ⁡ ⁡ ( β β ^ ^ 0 ) = β β 0 {\displaystyle \operatorname {E} ({\hat {\beta }}_{0})=\beta _{0}} . Der Kleinste-Quadrate-Schätzer liefert also „im Mittel“ die wahren Werte der Koeffizienten.

Mit der Linearität des Erwartungswerts und der Voraussetzung E ⁡ ⁡ ( ε ε i ) = 0 {\displaystyle \operatorname {E} (\varepsilon _{i})=0} folgt nämlich E ⁡ ⁡ ( Y i ) = β β 0 + β β 1 x i {\displaystyle \operatorname {E} (Y_{i})=\beta _{0}+\beta _{1}x_{i}} und E ⁡ ⁡ ( Y ¯ ¯ ) = β β 0 + β β 1 x ¯ ¯ {\displaystyle \operatorname {E} ({\overline {Y}})=\beta _{0}+\beta _{1}{\overline {x}}} . Als Erwartungswert von β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} ergibt sich daher:cite-ref-13[13]

E ⁡ ⁡ ( β β ^ ^ 1 ) = E ⁡ ⁡ ( ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) ( Y i − − Y ¯ ¯ ) ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 ) = ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) E ⁡ ⁡ ( Y i − − Y ¯ ¯ ) ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 = ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) ( β β 0 + β β 1 x i − − ( β β 0 + β β 1 x ¯ ¯ ) ) ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 = β β 1 {\displaystyle {\begin{aligned}\operatorname {E} ({\hat {\beta }}_{1})&=\operatorname {E} \left({\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(Y_{i}-{\overline {Y}})}{\sum \nolimits _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}}\right)={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})\operatorname {E} (Y_{i}-{\overline {Y}})}{\sum \nolimits _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}}\\&\\&={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(\beta _{0}+\beta _{1}x_{i}-(\beta _{0}+\beta _{1}{\overline {x}}))}{\sum \nolimits _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}}=\beta _{1}\end{aligned}}}

Für den Erwartungswert von β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} erhält man schließlich:cite-ref-wooldridge-7-1[7]

E ⁡ ⁡ ( β β ^ ^ 0 ) = E ⁡ ⁡ ( Y ¯ ¯ − − β β ^ ^ 1 x ¯ ¯ ) = E ⁡ ⁡ ( Y ¯ ¯ ) − − E ⁡ ⁡ ( β β ^ ^ 1 ) x ¯ ¯ = β β 0 + β β 1 x ¯ ¯ ⏟ ⏟ = E ⁡ ⁡ ( Y ¯ ¯ ) − − β β 1 x ¯ ¯ = β β 0 {\displaystyle \operatorname {E} ({\hat {\beta }}_{0})=\operatorname {E} ({\overline {Y}}-{\hat {\beta }}_{1}{\overline {x}})=\operatorname {E} ({\overline {Y}})-\operatorname {E} ({\hat {\beta }}_{1}){\overline {x}}=\underbrace {\beta _{0}+\beta _{1}{\overline {x}}} _{=\operatorname {E} ({\overline {Y}})}-\beta _{1}{\overline {x}}=\beta _{0}} .

Die Varianzen des Achsenabschnittes β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} und des Steigungsparameters β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} sind gegeben durch:cite-ref-14[14]

σ σ β β ^ ^ 0 2 = Var ⁡ ⁡ ( β β ^ ^ 0 ) = σ σ 2 n ( 1 + x ¯ ¯ 2 s x 2 ) = σ σ 2 ∑ ∑ i = 1 n x i 2 n ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 ⏟ ⏟ =: a 0 = σ σ 2 ⋅ ⋅ a 0 {\displaystyle \sigma _{{\hat {\beta }}_{0}}^{2}=\operatorname {Var} ({\hat {\beta }}_{0})={\frac {\sigma ^{2}}{n}}\left(1+{\frac {{\overline {x}}^{2}}{s_{x}^{2}}}\right)=\sigma ^{2}\underbrace {\frac {\sum \nolimits _{i=1}^{n}x_{i}^{2}}{n\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}} _{=:a_{0}}=\sigma ^{2}\cdot a_{0}} und

σ σ β β ^ ^ 1 2 = Var ⁡ ⁡ ( β β ^ ^ 1 ) = Var ⁡ ⁡ ( ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) ( Y i − − Y ¯ ¯ ) ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 ) = Var ⁡ ⁡ ( ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) Y i ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 ) = ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 Var ⁡ ⁡ ( Y i ) [ ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 ] 2 = σ σ 2 1 ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 ⏟ ⏟ =: a 1 = σ σ 2 ⋅ ⋅ a 1 {\displaystyle {\begin{aligned}\;\sigma _{{\hat {\beta }}_{1}}^{2}=\operatorname {Var} ({\hat {\beta }}_{1})&=\operatorname {Var} \left({\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(Y_{i}-{\overline {Y}})}{\sum \nolimits _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}}\right)=\operatorname {Var} \left({\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})Y_{i}}{\sum \nolimits _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}}\right)\\&\\&={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\operatorname {Var} (Y_{i})}{\left[\sum \nolimits _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}\right]^{2}}}=\sigma ^{2}\underbrace {\frac {1}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}} _{=:a_{1}}=\sigma ^{2}\cdot a_{1}\end{aligned}}} .

Dabei stellt s x 2 {\displaystyle s_{x}^{2}} die empirische Varianz dar. Je größer die Streuung in der erklärenden Variablen (d. h. je größer ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 {\displaystyle \sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}} ), desto größer ist die Präzision von β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} und β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} . Da die Anzahl der Terme in dem Ausdruck ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 {\displaystyle \sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}} umso größer ist, je größer die Stichprobengröße ist, führen größere Stichproben immer zu einer größeren Präzision. Außerdem kann man sehen: Je kleiner die Varianz der Störgrößen σ σ 2 {\displaystyle \sigma ^{2}} ist, desto präziser sind die Schätzer.cite-ref-15[15]

Die Kovarianz von β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} und β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} ist gegeben durch

Cov ⁡ ⁡ ( β β ^ ^ 0 , β β ^ ^ 1 ) = σ σ 2 − − x ¯ ¯ ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 {\displaystyle \operatorname {Cov} ({\hat {\beta }}_{0},{\hat {\beta }}_{1})=\sigma ^{2}{\frac {-{\overline {x}}}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}} .

Falls für n → → ∞ ∞ {\displaystyle n\to \infty } die Konsistenzbedingung

∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 → → ∞ ∞ {\displaystyle \sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\to \infty }

gilt, sind die Kleinste-Quadrate-Schätzer β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} und β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} konsistent für β β 0 {\displaystyle \beta _{0}} und β β 1 {\displaystyle \beta _{1}} . Dies bedeutet, dass mit zunehmender Stichprobengröße der wahre Wert immer genauer geschätzt wird und die Varianz letztendlich verschwindet. Die Konsistenzbedingung besagt, dass die Werte x 1 , … … , x n {\displaystyle x_{1},\ldots ,x_{n}} hinreichend stark um ihr arithmetisches Mittel variieren. Nur auf diese Art und Weise kommt zusätzliche Information zur Schätzung von β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} und β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} hinzu.cite-ref-16[16] Das Problem an den beiden Varianzformeln ist jedoch, dass die wahre Varianz der Störgrößen σ σ 2 {\displaystyle \sigma ^{2}} unbekannt ist und somit geschätzt werden muss. Die positiven Quadratwurzeln der geschätzten Varianzen werden als (geschätzte) Standardfehler der Regressionskoeffizienten β β ^ ^ 0 {\displaystyle {\hat {\beta }}_{0}} und β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} bezeichnet und sind wichtig für die Beurteilung der Anpassungsgüte (siehe auch Standardfehler der Regressionsparameter im einfachen Regressionsmodell).

Eine erwartungstreue Schätzung der Varianz der Störgrößen ist gegeben durchcite-ref-17[17]

σ σ ^ ^ 2 = 1 n − − 2 ∑ ∑ i = 1 n ( y i − − β β ^ ^ 0 − − β β ^ ^ 1 x i ) 2 {\displaystyle {\hat {\sigma }}^{2}={\frac {1}{n-2}}\sum \limits _{i=1}^{n}(y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i})^{2}} ,

d. h., es gilt E ⁡ ⁡ ( σ σ ^ ^ 2 ) = σ σ 2 {\displaystyle \operatorname {E} ({\hat {\sigma }}^{2})=\sigma ^{2}} (für einen Beweis siehe Erwartungstreuer Schätzer für die Varianz der Störgrößen). Die positive Quadratwurzel dieser erwartungstreuen Schätzfunktion wird auch als Standardfehler der Regression bezeichnet.cite-ref-18[18] Der Schätzwert von σ σ ^ ^ 2 {\displaystyle {\hat {\sigma }}^{2}} wird auch mittleres Residuenquadrat M Q R {\displaystyle MQR} genannt. Das mittlere Residuenquadrat wird benötigt, um Konfidenzintervalle für β β 0 {\displaystyle \beta _{0}} und β β 1 {\displaystyle \beta _{1}} zu bestimmen.cite-ref-19[19]

Das Ersetzen von σ σ 2 {\displaystyle \sigma ^{2}} durch σ σ ^ ^ 2 {\displaystyle {\hat {\sigma }}^{2}} in den obigen Formeln für die Varianzen der Regressionsparameter liefert die Schätzungen Var ⁡ ⁡ ( β β ^ ^ 0 ) ^ ^ {\displaystyle {\widehat {\operatorname {Var} ({\hat {\beta }}_{0})}}\;} und Var ⁡ ⁡ ( β β ^ ^ 1 ) ^ ^ {\displaystyle \;{\widehat {\operatorname {Var} ({\hat {\beta }}_{1})}}} für die Varianzen.

→

Hauptartikel

:

Satz von Gauß-Markow

Es lässt sich zeigen, dass der Kleinste-Quadrate-Schätzer die beste lineare erwartungstreue Schätzfunktion darstellt. Eine erwartungstreue Schätzfunktion ist „besser“ als eine andere, wenn sie eine kleinere Varianz aufweist, da die Varianz ein Maß für die Unsicherheit ist. Somit ist die beste Schätzfunktion dadurch gekennzeichnet, dass sie eine minimale Varianz und somit die geringste Unsicherheit aufweist. Diejenige Schätzfunktion, die unter den linearen erwartungstreuen Schätzfunktionen die kleinste Varianz aufweist, wird auch als bester linearer erwartungstreuer Schätzer, kurz BLES (englisch Best Linear Unbiased Estimator, kurz: BLUE) bezeichnet. Für alle anderen linearen erwartungstreuen Schätzer β β ~ ~ 0 {\displaystyle {\tilde {\beta }}_{0}} und β β ~ ~ 1 {\displaystyle {\tilde {\beta }}_{1}} gilt somit

Var ⁡ ⁡ ( β β ^ ^ 0 ) ≤ ≤ Var ⁡ ⁡ ( β β ~ ~ 0 ) {\displaystyle \operatorname {Var} ({\hat {\beta }}_{0})\leq \operatorname {Var} ({\tilde {\beta }}_{0})\quad } und Var ⁡ ⁡ ( β β ^ ^ 1 ) ≤ ≤ Var ⁡ ⁡ ( β β ~ ~ 1 ) {\displaystyle \quad \operatorname {Var} ({\hat {\beta }}_{1})\leq \operatorname {Var} ({\tilde {\beta }}_{1})} .

Auch ohne Normalverteilungsannahme ist der Kleinste-Quadrate-Schätzer ein bester linearer erwartungstreuer Schätzer.

Wenn man zusätzlich zu den klassischen Annahmen annimmt, dass die Störgrößen normalverteilt sind ( ε ε i ∼ ∼ N ( 0 , σ σ 2 ) , i = 1 , … … , n {\displaystyle \varepsilon _{i}\;\sim \;{\mathcal {N}}(0,\sigma ^{2})\quad ,i=1,\ldots ,n} ), dann ist es möglich statistische Inferenz (Schätzen und Testen) durchzuführen. Ein Modell, das zusätzlich die Normalverteilungsannahme erfüllt, wird Klassisches lineares Modell der Normalregression genannt. Bei solch einem Modell können dann Konfidenzintervalle und Tests für die Regressionsparameter konstruiert werden. Insbesondere wird bei t-Tests diese Normalverteilungsannahme benötigt, da eine t-Verteilung als Prüfgrößenverteilung herangezogen wird, die man erhält wenn man eine standardnormalverteilte Zufallsvariable durch die Quadratwurzel einer (um die Anzahl ihrer Freiheitsgrade korrigierten) Chi-Quadrat-verteilten Zufallsvariablen dividiert.

Die Normalverteilungsannahme ε ε i ∼ ∼ N ( 0 , σ σ 2 ) , i = 1 , … … , n {\displaystyle \varepsilon _{i}\;\sim \;{\mathcal {N}}(0,\sigma ^{2})\quad ,i=1,\ldots ,n} impliziert β β ^ ^ 1 ∼ ∼ N ( β β 1 , σ σ β β ^ ^ 1 2 ) {\displaystyle {\hat {\beta }}_{1}\;{\sim }\;{\mathcal {N}}(\beta _{1},\sigma _{{\hat {\beta }}_{1}}^{2})} und β β ^ ^ 0 ∼ ∼ N ( β β 0 , σ σ β β ^ ^ 0 2 ) {\displaystyle {\hat {\beta }}_{0}\;{\sim }\;{\mathcal {N}}(\beta _{0},\sigma _{{\hat {\beta }}_{0}}^{2})} und damit ergibt sich für Achsenabschnitt und Steigung die folgende t-Statistik:

T = β β ^ ^ j − − β β j 0 σ σ ^ ^ β β ^ ^ j ∼ ∼ H 0 t ( n − − 2 ) , j = 0 , 1 {\displaystyle T={\frac {{\hat {\beta }}_{j}-\beta _{j}^{0}}{{\hat {\sigma }}_{{\hat {\beta }}_{j}}}}\;{\stackrel {H_{0}}{\sim }}\;{\mathcal {t}}_{(n-2)},\quad j=0,1} .

Zum Beispiel kann ein Signifikanztest durchgeführt werden, bei dem Nullhypothese und Alternativhypothese wie folgt spezifiziert sind: H 0 : : β β j = 0 {\displaystyle H_{0}\colon \beta _{j}=0} gegen H 1 : β β j ≠ ≠ 0 {\displaystyle H_{1}:\beta _{j}\neq 0} . Für die Prüfgröße gilt dann:

T = β β ^ ^ j − − 0 σ σ ^ ^ β β ^ ^ j = β β ^ ^ j σ σ ^ ^ β β ^ ^ j ∼ ∼ H 0 t ( n − − 2 ) , j = 0 , 1 {\displaystyle T={\frac {{\hat {\beta }}_{j}-0}{{\hat {\sigma }}_{{\hat {\beta }}_{j}}}}={\frac {{\hat {\beta }}_{j}}{{\hat {\sigma }}_{{\hat {\beta }}_{j}}}}\;{\stackrel {H_{0}}{\sim }}\;{\mathcal {t}}_{(n-2)},\quad j=0,1} ,

wobei t ( n − − 2 ) {\displaystyle {\mathcal {t}}_{(n-2)}} das 1 − − α α / 2 {\displaystyle 1-\alpha /2} der t-Verteilung mit ( n − − 2 ) {\displaystyle (n-2)} Freiheitsgraden ist.

Um Konfidenzintervalle für den Fall der linearen Einfachregression herzuleiten, benötigt man die Normalverteilungsannahme für die Störgrößen. Als ( 1 − − α α ) {\displaystyle (1-\alpha )} -Konfidenzintervalle für die unbekannten Parameter β β 0 {\displaystyle \beta _{0}} und β β 1 {\displaystyle \beta _{1}} erhält man:

K I 1 − − α α ( β β 0 ) = [ β β ^ ^ 0 − − σ σ ^ ^ β β ^ ^ 0 t 1 − − α α / 2 ( n − − 2 ) ; β β ^ ^ 0 + σ σ ^ ^ β β ^ ^ 0 t 1 − − α α / 2 ( n − − 2 ) ] {\displaystyle KI_{1-\alpha }(\beta _{0})=\left[{\hat {\beta }}_{0}-{\hat {\sigma }}_{{\hat {\beta }}_{0}}t_{1-\alpha /2}(n-2);{\hat {\beta }}_{0}+{\hat {\sigma }}_{{\hat {\beta }}_{0}}t_{1-\alpha /2}(n-2)\right]\;} und K I 1 − − α α ( β β 1 ) = [ β β ^ ^ 1 − − σ σ ^ ^ β β ^ ^ 1 t 1 − − α α / 2 ( n − − 2 ) ; β β ^ ^ 1 + σ σ ^ ^ β β ^ ^ 1 t 1 − − α α / 2 ( n − − 2 ) ] {\displaystyle \;KI_{1-\alpha }(\beta _{1})=\left[{\hat {\beta }}_{1}-{\hat {\sigma }}_{{\hat {\beta }}_{1}}t_{1-\alpha /2}(n-2);{\hat {\beta }}_{1}+{\hat {\sigma }}_{{\hat {\beta }}_{1}}t_{1-\alpha /2}(n-2)\right]} ,

wobei t 1 − − α α / 2 ( n − − 2 ) {\displaystyle t_{1-\alpha /2}(n-2)} das ( 1 − − α α / 2 ) {\displaystyle (1-\alpha /2)} -Quantil der studentschen t-Verteilung mit ( n − − 2 ) {\displaystyle (n-2)} Freiheitsgraden ist und die geschätzten Standardfehler σ σ ^ ^ β β ^ ^ 0 {\displaystyle {\hat {\sigma }}_{{\hat {\beta }}_{0}}} und σ σ ^ ^ β β ^ ^ 1 {\displaystyle {\hat {\sigma }}_{{\hat {\beta }}_{1}}} der unbekannten Parameter β β 0 {\displaystyle \beta _{0}} und β β 1 {\displaystyle \beta _{1}} gegeben sind durch die Quadratwurzeln der geschätzten Varianzen der Kleinste-Quadrate-Schätzer:

σ σ ^ ^ β β ^ ^ 0 = SE ⁡ ⁡ ( β β ^ ^ 0 ) = M Q R ∑ ∑ i = 1 n x i 2 n ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 {\displaystyle {\hat {\sigma }}_{{\hat {\beta }}_{0}}=\operatorname {SE} ({\hat {\beta }}_{0})={\sqrt {\frac {MQR\sum \nolimits _{i=1}^{n}x_{i}^{2}}{n\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}}\;} und σ σ ^ ^ β β ^ ^ 1 = SE ⁡ ⁡ ( β β ^ ^ 1 ) = M Q R ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 {\displaystyle \;{\hat {\sigma }}_{{\hat {\beta }}_{1}}=\operatorname {SE} ({\hat {\beta }}_{1})={\sqrt {\frac {MQR}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}}} ,

wobei M Q R {\displaystyle MQR} das mittlere Residuenquadrat darstellt.

→

Hauptartikel

:

Vorhersagemodell

Oft ist man daran interessiert für einen neuen Wert x 0 {\displaystyle x_{0}} die (Realisierung) der abhängigen Variablen y 0 {\displaystyle y_{0}} zu schätzen. Beispielsweise könnte x 0 {\displaystyle x_{0}} der geplante Preis eines Produktes sein und y 0 {\displaystyle y_{0}} der Absatz sein. In diesem Fall nimmt man das gleiche einfache Regressionsmodell wie oben dargestellt an. Für eine neue Beobachtung y 0 {\displaystyle y_{0}} mit dem Wert der unabhängigen Variablen x 0 {\displaystyle x_{0}} ist die Vorhersage basierend auf der einfachen linearen Regression gegeben durch

y ^ ^ 0 = β β ^ ^ 0 + β β ^ ^ 1 x 0 {\displaystyle {\hat {y}}_{0}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}x_{0}}

Da man den Wert der abhängigen Variablen nie genau vorhersehen kann, ergibt sich immer ein Schätzfehler. Dieser Fehler wird als Vorhersagefehler bezeichnet und ergibt sich aus

y ^ ^ 0 − − y 0 {\displaystyle {\hat {y}}_{0}-y_{0}}

Im Fall der einfachen linearen Regression ergibt sich für den Erwartungswert und die Varianz des Vorhersagefehlers:

E ⁡ ⁡ ( y ^ ^ 0 − − y 0 ) = 0 {\displaystyle \operatorname {E} ({\hat {y}}_{0}-y_{0})=0\;} und σ σ 0 2 = Var ⁡ ⁡ ( y ^ ^ 0 − − y 0 ) = σ σ 2 ( 1 + 1 n + ( x 0 − − x ¯ ¯ ) 2 ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 ) {\displaystyle \;\sigma _{0}^{2}=\operatorname {Var} ({\hat {y}}_{0}-y_{0})=\sigma ^{2}\left(1+{\frac {1}{n}}+{\frac {(x_{0}-{\overline {x}})^{2}}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}\right)} .

Bei Punktvorhersagen dient die Angabe eines Vorhersageintervalls dazu, die Vorhersagepräzision und -sicherheit auszudrücken. Mit Wahrscheinlichkeit ( 1 − − α α ) {\displaystyle (1-\alpha )} wird die Variable an der Stelle x 0 {\displaystyle x_{0}} einen Wert annehmen, der in folgendem ( 1 − − α α ) {\displaystyle (1-\alpha )} -Vorhersageintervall liegtcite-ref-20[20]cite-ref-21[21]

y ^ ^ 0 ± ± t ( 1 − − α α / 2 ) ( n − − 2 ) ⋅ ⋅ σ σ ^ ^ 2 ( 1 + 1 n + ( x 0 − − x ¯ ¯ ) 2 ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 ) {\displaystyle {\hat {y}}_{0}\pm t_{(1-\alpha /2)}(n-2)\cdot {\sqrt {{\hat {\sigma }}^{2}\left(1+{\frac {1}{n}}+{\frac {(x_{0}-{\overline {x}})^{2}}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}\right)}}} .

Aus dieser Form des Konfidenzintervalls erkennt man sofort, dass das Konfidenzintervall breiter wird, wenn sich die unabhängige Vorhersagevariable x 0 {\displaystyle x_{0}} vom „Gravitationszentrum“ der Daten entfernt. Schätzungen der abhängigen Variablen sollten also im Beobachtungsraum der Daten liegen, sonst werden sie sehr unzuverlässig.

→

Hauptartikel

:

Kausalität

Wie in der statistischen Literatur immer wieder betont wird, ist ein hoher Wert des Korrelationskoeffizienten zweier Variablen X {\displaystyle X} und Y {\displaystyle Y} allein noch kein hinreichender Beleg für den kausalen (d. h. ursächlichen) Zusammenhang von X {\displaystyle X} und Y {\displaystyle Y} , ebenso wenig für dessen mögliche Richtung. Es ist hier nämlich ein Fehlschluss der Art cum hoc ergo propter hoc möglich.

Anders als gemeinhin beschrieben, sollte man es daher bei der linearen Regression zweier Variablen X {\displaystyle X} und Y {\displaystyle Y} stets mit nicht nur einer, sondern zwei voneinander unabhängigen Regressionsgeraden zu tun haben: der ersten für die vermutete lineare Abhängigkeit y = g x ( x ) {\displaystyle y=g_{x}(x)} (Regression von Y {\displaystyle Y} auf X {\displaystyle X} ), der zweiten für die nicht minder mögliche Abhängigkeit x = g y ( y ) {\displaystyle x=g_{y}(y)} (Regression von X {\displaystyle X} auf Y {\displaystyle Y} ).cite-ref-22[22]

Bezeichnet man die Richtung der x {\displaystyle x} -Achse als Horizontale und die der y {\displaystyle y} -Achse als Vertikale, läuft die Berechnung des Regressionsparameter also im ersten Fall auf das üblicherweise bestimmte Minimum der vertikalen quadratischen Abweichungen hinaus, im zweiten Fall dagegen auf das Minimum der horizontalen quadratischen Abweichungen.

Rein äußerlich betrachtet bilden die beiden Regressionsgeraden y = g x ( x ) {\displaystyle y=g_{x}(x)} und x = g y ( y ) {\displaystyle x=g_{y}(y)} eine Schere, deren Schnitt- und Angelpunkt der Schwerpunkt der Daten P ( x ¯ ¯ | y ¯ ¯ ) {\displaystyle P({\overline {x}}|{\overline {y}})} ist. Je weiter sich diese Schere öffnet, desto geringer ist die Korrelation beider Variablen, bis hin zur Orthogonalität beider Regressionsgeraden, zahlenmäßig ausgedrückt durch den Korrelationskoeffizienten 0 {\displaystyle 0} bzw. Schnittwinkel 90 ∘ ∘ {\displaystyle 90^{\circ }} .

Umgekehrt nimmt die Korrelation beider Variablen umso mehr zu, je mehr sich die Schere schließt – bei Kollinearität der Richtungsvektoren beider Regressionsgeraden schließlich, also dann, wenn beide bildlich übereinander liegen, nimmt r x y {\displaystyle r_{xy}} je nach Vorzeichen der Kovarianz den Maximalwert + 1 {\displaystyle +1} oder − − 1 {\displaystyle -1} an, was bedeutet, dass zwischen X {\displaystyle X} und Y {\displaystyle Y} ein streng linearer Zusammenhang besteht und sich (wohlgemerkt nur in diesem einen einzigen Fall) die Berechnung einer zweiten Regressionsgeraden erübrigt.

Wie der nachfolgenden Tabelle zu entnehmen, haben die Gleichungen der beiden Regressionsgeraden große formale Ähnlichkeit, etwa, was ihre Anstiege β β ^ ^ 2 x {\displaystyle {{\hat {\beta }}_{2}}_{x}} bzw. β β ^ ^ 2 y {\displaystyle {{\hat {\beta }}_{2}}_{y}} angeht, die gleich den jeweiligen Regressionsparameter sind und sich nur durch ihre Nenner unterscheiden: im ersten Fall die Varianz von X {\displaystyle X} , im zweiten die von Y {\displaystyle Y} :

| Regression von Y {\displaystyle Y} auf X {\displaystyle X} | Zusammenhangsmaße | Regression von X {\displaystyle X} auf Y {\displaystyle Y} |

|---|---|---|

| Regressionskoeffizient x {\displaystyle _{x}} | Produkt-Moment-Korrelation | Regressionskoeffizient y {\displaystyle _{y}} |

| β 1 x = Cov ⁡ ( X , Y ) Var ⁡ ( X ) {\displaystyle {\beta _{1}}_{x}={\frac {\operatorname {Cov} (X,Y)}{\operatorname {Var} (X)}}} | ρ X , Y = Cov ⁡ ( X , Y ) Var ⁡ ( X ) ⋅ Var ⁡ ( Y ) {\displaystyle \rho _{X,Y}={\frac {\operatorname {Cov} (X,Y)}{\sqrt {\operatorname {Var} (X)\cdot \operatorname {Var} (Y)}}}} | β 1 y = Cov ⁡ ( X , Y ) Var ⁡ ( Y ) {\displaystyle {\beta _{1}}_{y}={\frac {\operatorname {Cov} (X,Y)}{\operatorname {Var} (Y)}}} |

| Empirischer Regressionskoeffizient x {\displaystyle _{x}} | Empirischer Korrelationskoeffizient | Empirischer Regressionskoeffizient y {\displaystyle _{y}} |

| β ^ 1 x = ∑ i = 1 n ( x i − x ¯ ) ( y i − y ¯ ) ∑ i = 1 n ( x i − x ¯ ) 2 β ^ 0 x = y ¯ − β 1 ^ x x ¯ {\displaystyle {\begin{aligned}{{\hat {\beta }}_{1}}_{x}&={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}\\{{\hat {\beta }}_{0}}_{x}&={\overline {y}}-{\hat {\beta _{1}}}_{x}{\overline {x}}\end{aligned}}} | r x y = ∑ i = 1 n ( x i − x ¯ ) ( y i − y ¯ ) ∑ i = 1 n ( x i − x ¯ ) 2 ⋅ ∑ i = 1 n ( y i − y ¯ ) 2 {\displaystyle {\begin{aligned}r_{xy}&={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sqrt {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\cdot \sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}}\end{aligned}}} | β ^ 1 y = ∑ i = 1 n ( x i − x ¯ ) ( y i − y ¯ ) ∑ i = 1 n ( y i − y ¯ ) 2 β ^ 0 y = x ¯ − β 1 ^ y y ¯ {\displaystyle {\begin{aligned}{{\hat {\beta }}_{1}}_{y}&={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}\\{{\hat {\beta }}_{0}}_{y}&={\overline {x}}-{\hat {\beta _{1}}}_{y}{\overline {y}}\end{aligned}}} |

| Regressionsgerade x {\displaystyle _{x}} | Bestimmtheitsmaß | Regressionsgerade y {\displaystyle _{y}} |

| y ^ = β ^ 0 x + β ^ 1 x ⋅ x = y ¯ + β ^ 1 x ⋅ ( x − x ¯ ) {\displaystyle {\begin{aligned}{\hat {y}}&={{\hat {\beta }}_{0}}_{x}+{{\hat {\beta }}_{1}}_{x}\cdot x\\&={\overline {y}}+{{\hat {\beta }}_{1}}_{x}\cdot (x-{\overline {x}})\end{aligned}}} | R 2 = r x y 2 = β ^ 1 x β ^ 1 y {\displaystyle R^{2}=r_{xy}^{2}={{\hat {\beta }}_{1}}_{x}{{\hat {\beta }}_{1}}_{y}} | x ^ = β ^ 0 y + β ^ 1 y ⋅ y = x ¯ + β ^ 1 y ⋅ ( y − y ¯ ) {\displaystyle {\begin{aligned}{\hat {x}}&={{\hat {\beta }}_{0}}_{y}+{{\hat {\beta }}_{1}}_{y}\cdot y\\&={\overline {x}}+{{\hat {\beta }}_{1}}_{y}\cdot (y-{\overline {y}})\end{aligned}}} |

Zu erkennen ist außerdem die mathematische Mittelstellung des Korrelationskoeffizienten und seines Quadrats, des Bestimmtheitsmaßes, gegenüber den beiden Regressionsparameter, dadurch entstehend, dass man anstelle der Varianzen von X {\displaystyle X} bzw. Y {\displaystyle Y} deren geometrisches Mittel

x ¯ ¯ g e o m = Var ⁡ ⁡ ( X ) ⋅ ⋅ Var ⁡ ⁡ ( Y ) {\displaystyle {\overline {x}}_{\mathrm {geom} }={\sqrt {\operatorname {Var} (X)\cdot \operatorname {Var} (Y)}}}

in den Nenner setzt. Betrachtet man die Differenzen ( x i − − x ¯ ¯ ) {\displaystyle (x_{i}-{\overline {x}})} als Komponenten eines n {\displaystyle n} -dimensionalen Vektors x {\displaystyle \mathbf {x} } und die Differenzen ( y i − − y ¯ ¯ ) {\displaystyle (y_{i}-{\overline {y}})} als Komponenten eines n {\displaystyle n} -dimensionalen Vektors y {\displaystyle \mathbf {y} } , lässt sich der empirische Korrelationskoeffizient schließlich auch als Kosinus des von beiden Vektoren eingeschlossenen Winkels θ θ {\displaystyle \theta } interpretieren:

r x y := ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) ⋅ ⋅ ( y i − − y ¯ ¯ ) ∑ ∑ i = 1 n ( x i − − x ¯ ¯ ) 2 ⋅ ⋅ ∑ ∑ i = 1 n ( y i − − y ¯ ¯ ) 2 = x ∘ ∘ y | x | ⋅ ⋅ | y | = cos ⁡ ⁡ θ θ {\displaystyle r_{xy}:={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})\cdot (y_{i}-{\overline {y}})}{{\sqrt {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}\cdot {\sqrt {\sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}}}={\frac {\mathbf {x} \circ \mathbf {y} }{|\mathbf {x} |\cdot |\mathbf {y} |}}=\cos \theta }

Im Fall der einfachen linearen Regression durch den Ursprung bzw. Regression ohne Achsenabschnitt (der Achsenabschnitt β β 0 {\displaystyle \beta _{0}} wird nicht in die Regression miteinbezogen, und daher verläuft die Regressionsgerade durch den Koordinatenursprung) lautet die konkrete empirische Regressionsgleichung y ~ ~ = β β ~ ~ 1 x {\displaystyle {\tilde {y}}={\tilde {\beta }}_{1}x} , wobei die Notation y ~ ~ , β β ~ ~ 1 {\displaystyle {\tilde {y}},{\tilde {\beta }}_{1}} benutzt wird um von der allgemeinen Problemstellung der Schätzung eines Steigungsparameters mit Hinzunahme eines Achsenabschnitts zu unterscheiden. Manchmal ist es angebracht, die Regressionsgerade durch den Ursprung zu legen, wenn x {\displaystyle x} und y {\displaystyle y} als proportional angenommen werden. Auch in diesem Spezialfall lässt sich die Kleinste-Quadrate-Schätzung anwenden. Sie liefert für die Steigung

β β ~ ~ 1 = ∑ ∑ i = 1 n x i y i ∑ ∑ i = 1 n x i 2 {\displaystyle \textstyle {\tilde {\beta }}_{1}={\frac {\textstyle \sum \nolimits _{i=1}^{n}x_{i}y_{i}}{\textstyle \sum \nolimits _{i=1}^{n}x_{i}^{2}}}} .

Dieser Schätzer für den Steigungsparameter β β ~ ~ 1 {\displaystyle {\tilde {\beta }}_{1}} entspricht dem Schätzer für den Steigungsparameter β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} , dann und nur dann wenn x ¯ ¯ = 0 {\displaystyle {\overline {x}}=0} . Wenn für den wahren Achsenabschnitt β β 0 ≠ ≠ 0 {\displaystyle \beta _{0}\neq 0} gilt, ist β β ~ ~ 1 {\displaystyle {\tilde {\beta }}_{1}} ein verzerrter Schätzer für den wahren Steigungsparameter β β 1 {\displaystyle \beta _{1}} . Für die lineare Einfachregression durch den Ursprung muss ein anderes Bestimmtheitsmaß definiert werden, da das gewöhnliche Bestimmtheitsmaß bei einer Regression durch den Ursprung negativ werden kann (siehe Bestimmtheitsmaß#Einfache lineare Regression durch den Ursprung).cite-ref-23[23] Die Varianz von β β ^ ^ 1 {\displaystyle {\hat {\beta }}_{1}} ist gegeben durch

Var ⁡ ⁡ ( β β ^ ^ 1 ) = σ σ 2 ∑ ∑ i = 1 n x i 2 {\displaystyle \operatorname {Var} ({\hat {\beta }}_{1})={\frac {\sigma ^{2}}{\textstyle \sum \nolimits _{i=1}^{n}x_{i}^{2}}}} .

Diese Varianz wird minimal wenn die Summe im Nenner maximal wird.

Der Modellcharakter des einfachen linearen Regressionsmodells wird besonders in der Matrixschreibweise mit der Datenmatrix deutlich:

y = X β β + ε ε {\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}} (wahres Modell).

mit

( y 1 y 2 ⋮ ⋮ y n ) = ( 1 x 1 1 x 2 ⋮ ⋮ ⋮ ⋮ 1 x n ) ( β β 0 β β 1 ) + ( ε ε 1 ε ε 2 ⋮ ⋮ ε ε n ) {\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}}={\begin{pmatrix}1&x_{1}\\1&x_{2}\\\vdots &\vdots \\1&x_{n}\end{pmatrix}}{\begin{pmatrix}\beta _{0}\\\beta _{1}\end{pmatrix}}+{\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{pmatrix}}}

Diese Darstellung erleichtert die Verallgemeinerung auf mehrere Einflussgrößen (multiple lineare Regression).cite-ref-24[24]

Die lineare Einfachregression ist ein Spezialfall der multiplen linearen Regression. Das multiple lineare Regressionsmodell

y i = β β 0 + β β 1 x i 1 + β β 2 x i 2 + … … + β β k x i k + ε ε i = x i ⊤ ⊤ β β + ε ε i i = 1 , … … , n {\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i1}+\beta _{2}x_{i2}+\ldots +\beta _{k}x_{ik}+\varepsilon _{i}=\mathbf {x} _{i}^{\top }{\boldsymbol {\beta }}+\varepsilon _{i}\quad i=1,\ldots ,n} ,

ist eine Verallgemeinerung der linearen Einfachregression bzgl. der Anzahl der Regressoren. Hierbei ist p = k + 1 {\displaystyle p=k+1} die Anzahl der Regressionsparameter. Für p = 2 {\displaystyle p=2} , ergibt sich die lineare Einfachregression.

Als einfaches Beispiel wird der Korrelationskoeffizient zweier Datenreihen berechnet:

Das Ergebnis lautet 0.9295038.

Mithilfe der Statistiksoftware R kann eine lineare Einfachregression durchgeführt werden. Dies kann in R durch die Funktion lm ausgeführt werden, wobei die abhängige Variable von den unabhängigen Variablen durch die Tilde getrennt wird. Die Funktion summary gibt die Koeffizienten der Regression und weitere Statistiken hierzu aus:

Diagramme lassen sich einfach erzeugen:

Wikibooks: Einführung in die Regressionsrechnung

– Lern- und Lehrmaterialien

Commons

: Lineare Regression

– Sammlung von Bildern, Videos und Audiodateien

• George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee. Introduction to the Theory and Practice of Econometrics. John Wiley & Sons, New York, Chichester, Brisbane, Toronto, Singapore, ISBN 978-0-471-62414-1, second edition 1988.

• Norman R. Draper, Harry Smith: Applied Regression Analysis. Wiley, New York 1998.

• Ludwig von Auer: Ökonometrie. Eine Einführung. Springer, ISBN 978-3-642-40209-8, 6. durchges. u. aktualisierte Aufl. 2013

• Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2

• Peter Schönfeld: Methoden der Ökonometrie. Berlin / Frankfurt 1969.

• Dieter Urban, Jochen Mayerl: Regressionsanalyse: Theorie, Technik und Anwendung. 2., überarb. Auflage. VS Verlag, Wiesbaden 2006, ISBN 3-531-33739-4.

cite-note-11. ↑ Ludwig Fahrmeir, Thomas Kneib, Stefan Lang: Regression. Springer Berlin Heidelberg, Berlin, Heidelberg 2009, ISBN 978-3-642-01836-7, doi:10.1007/978-3-642-01837-4 (springer.com).

cite-note-22. ↑ W. Zucchini, A. Schlegel, O. Nenadíc, S. Sperlich: Statistik für Bachelor- und Masterstudenten.

cite-note-auer49-33. ↑ Ludwig von Auer: Ökonometrie. Eine Einführung. Springer, ISBN 978-3-642-40209-8, 6., durchges. u. aktualisierte Auflage. 2013, S. 49.

cite-note-jw-44. ↑ Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 5. Auflage. Nelson Education 2015, S. 59.

cite-note-55. ↑ Karl Mosler und Friedrich Schmid: Wahrscheinlichkeitsrechnung und schließende Statistik. Springer-Verlag, 2011, S. 292.

cite-note-66. ↑ Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 5. Auflage. Nelson Education 2015, S. 24.

cite-note-wooldridge-77. ↑ Jeffrey Wooldridge: Introductory Econometrics: A Modern Approach. 5. internationale Auflage. South-Western, Mason, OH 2013, ISBN 978-1-111-53439-4, S. 113–114 (englisch).

cite-note-88. ↑ J. F. Kenney, E. S. Keeping: Linear Regression and Correlation. In: Mathematics of Statistics. Pt. 1, 3. Auflage. Van Nostrand, Princeton, NJ 1962, S. 252–285.

cite-note-99. ↑ Rainer Schlittgen: Regressionsanalysen mit R. 2013, ISBN 978-3-486-73967-1, S. 4 (abgerufen über De Gruyter Online).

cite-note-1010. ↑ arg ⁡ ⁡ min ( ⋅ ⋅ ) {\displaystyle \arg \min(\cdot )} bezeichnet analog zu arg ⁡ ⁡ max ( ⋅ ⋅ ) {\displaystyle \arg \max(\cdot )} (Argument des Maximums) das Argument des Minimums

cite-note-1111. ↑ Manfred Precht und Roland Kraft: Bio-Statistik 2: Hypothesentests–Varianzanalyse–Nichtparametrische Statistik–Analyse von Kontingenztafeln–Korrelationsanalyse–Regressionsanalyse–Zeitreihenanalyse–Programmbeispiele in MINITAB, STATA, N, StatXact und TESTIMATE: 5., völlig überarb. Aufl. Reprint 2015, De Gruyter, Berlin Juni 2015, ISBN 978-3-486-78352-0 (abgerufen über De Gruyter Online), S. 299.

cite-note-1212. ↑ Rainer Schlittgen: Regressionsanalysen mit R. 2013, ISBN 978-3-486-73967-1, S. 27 (abgerufen über De Gruyter Online).

cite-note-1313. ↑ Werner Timischl: Angewandte Statistik. Eine Einführung für Biologen und Mediziner. 2013, 3. Auflage, S. 326.

cite-note-1414. ↑ Werner Timischl: Angewandte Statistik. Eine Einführung für Biologen und Mediziner. 2013, 3. Auflage, S. 326.

cite-note-1515. ↑ George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York / Chichester / Brisbane / Toronto / Singapore 1988, ISBN 0-471-62414-4, S. 168.

cite-note-1616. ↑ Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz: Statistik. Der Weg zur Datenanalyse. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin / Heidelberg 2016, ISBN 978-3-662-50371-3, S. 443.

cite-note-1717. ↑ Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 5. Auflage. Nelson Education 2015

cite-note-1818. ↑ Karl Mosler und Friedrich Schmid: Wahrscheinlichkeitsrechnung und schließende Statistik. Springer-Verlag, 2011, S. 308.

cite-note-1919. ↑ Werner Timischl: Angewandte Statistik. Eine Einführung für Biologen und Mediziner. 2013, 3. Auflage, S. 313.

cite-note-2020. ↑ Rainer Schlittgen: Regressionsanalysen mit R. 2013, ISBN 978-3-486-73967-1, S. 13 (abgerufen über De Gruyter Online).

cite-note-2121. ↑ Ludwig von Auer: Ökonometrie. Eine Einführung. Springer, ISBN 978-3-642-40209-8, 6., durchges. u. aktualisierte Auflage. 2013, S. 135.

cite-note-2222. ↑ Walter Gellert, Herbert Küstner, Manfred Hellwich, Herbert Kästner (Hrsg.): Kleine Enzyklopädie Mathematik. Leipzig 1970, S. 669–670.

cite-note-2323. ↑ Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 4. Auflage. Nelson Education, 2015, S. 57.

cite-note-2424. ↑ Lothar Sachs, Jürgen Hedderich: Angewandte Statistik: Methodensammlung mit R. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin / Heidelberg 2018, ISBN 978-3-662-56657-2, S. 801